Dilahirkan di Abidjan, Didier Drogba menghabiskan masa kanak-kanaknya di Côte d'Ivoire, tempat asalnya, dan di Perancis, negara adopsinya. Dikenali sebagai 'Tito' oleh kawan-kawan dan keluarganya, Drogba meninggalkan negara asalnya ketika berumur lima tahun dan menuju ke Brest di Brittany, tempat tinggal bapa saudaranya, Michel Goba. Goba ialah seorang pemain bola sepak profesional. Drogba menghabiskan tiga tahun bersama-sama bapa saudaranya, dan tinggal di Brest, Angoulême, dan Dunkerque, sebelum pulang ke negara asalnya.

Selepas kemerosotan ekonomi, Drogba kembali untuk mendiami dengan bapa saudaranya di Dunkerque, walaupun beliau bergerak-gerak di seluruh Perancis sebagai seorang anak muda. Adalah semasa ini bahawa beliau mula main bola sepak. Pada tahun 1991, ibu bapanya juga ke Perancis, dan berpindah ke Vannes.

Drogba mengikat kontrak dengan Levallois F.C. ketika berumur lima belas tahun. Pada masa itu, beliau tinggal dengan sepupunya, Olivier Tebily, yang kini main untuk Bandaraya Birmingham. Drogba naik dari bawah di Levallois, dan main untuk kelab tersebut dalam pertandingan Ligue 2 ketika berumur 18 tahun